Centro Federal de Educação Tecnológica de Minas Gerais

"As curvas, a partir da época 08, indicam que o modelo deve estar em overfitting. Ou seja, que ele decorou os dados de treino e perdeu poder de generalização para novos dados. Por isso a perda de treino segue diminuindo, e a perda de avaliação (dados desconhecidos para ajuste) segue aumentando."

"Os dados devem ser pré-processados antes de serem inseridos no modelo MLP, mantendo os valores numéricos e aplicando, por exemplo, one-hot encoding nos categóricos. Eles devem ser representados como vetores, matrizes ou tensores.
No backpropagation, os parâmetros do modelo são recalculados, de acordo com o feedback obtido com os dados de validação no treinamento. Este mecanismo que penaliza e ajusta os parâmetros conformes os erros."

"Antes de colocar o modelo em produção, é importante avaliar o seu desempenho com dados novos independentes (conjunto de teste). Além de considerar métricas com recall, precision e F1-score, juntamente com a acurácia.
Para que os experimentos sejam reprodutíveis, é importante esta divisão de base (treino/validação/teste) estratificada e com uma semente aleatória fixada."

"Na investigação, deve verificar se houve divisão e estratificação da base de dados, já que ela é desbalanceada. Verificar se o modelo teve um aprendizado 'raso', por exemplo, considerando a claridade ao invés da peça na imagem (sem dropout). Nestas verificações, deve-se expor o modelo a uma base de teste de confiança, ou rotulada a mão, e avaliar suas métricas de desempenho."

"Uma rede CNN é o modelo recomendado para classificação e reconhecimento de padrões em imagens. Ela permite tal processamento com menos parâmetros (economia computacional), utilizando a técnica de análise com kernels.
→ Neste cenário, deve-se aplicar um congelamento nos parâmetros pré-treinados, e um data augmentation para simular novas imagens e melhorar o desbalanceamento da base. Por fim, treinar um MLP de 'cabeça', especializado neste reconhecimento, que é alimentado pelos parâmetros de saída do 1º modelo."

"No modelo MLP de 'cabeça', deve-se configurar uma rede com dropout, para induzir um aprendizado profundo entre os neurônios. Isso evita dependência entre os neurônio, aumenta a absorção de características do modelo. (dropout durante o treinamento)."

"O limiar de 0,5 está incorreto, uma vez que a frequência real atinge o percentual de 0,5 em $\hat{p} = 0,9$, aproximadamente.
Neste caso, o modelo está alertando a equipe médica que o paciente terá uma piora e precisa de intervenção rápida deles, entretanto, muitas vezes erradando. Para $\hat{p}=0,5$, errando mais do que acertando. Isso pode gerar exames extras, transtorno e estresse desnecessário."

"Os custos de um falso negativo do modelo, podem ser maiores que os de um falso positivo, uma vez que no primeiro, um paciente que precisava de atenção rápida pode não ser atendido. Usando esse critério, deve-se preferir um limiar 'precavido', que não deixe de identificar os verdadeiros positivos, mas respeite o número de pacientes e médicos disponíveis na clínica/hospital. Evita gastos desnecessários, sobrecarga médica, e não atendimentos."

"Considerar retreinar o modelo com o critério de otimizar os verdadeiros positivos e minimizar os falsos negativos."

"A similaridade de cosseno metrifica o quanto um conceito (palavra) está próxima de outra, baseado no contexto que elas foram apresentadas durante o treinamento. Entretanto, mesmo considerando a base de treino como validada, palavras que compartilham contexto aparecem próximos, mesmo que não sejam sinônimas. Logo, outras métricas e avaliações também são necessárias."

"Medir apenas similaridade de cosseno não é adequado, palavras com contextos próximos têm alta similaridade, mesmo não tendo significados equivalentes. Para melhor a busca, pode usar RAG, busca semântica e léxica, e avaliar o Recall@K e Precision@K, por exemplo."

"A combinação destas técnicas de busca, tendem a melhorar as respostas, já que analisa-se o significado, contexto e a aparição da palavra nos vetores de retorno. Além, de analisar outros métricos com Recall@K e Precision@K, das K primeiras respostas. Todas trabalham para mitigar as limitações entre si, e localizam a melhor resposta num RAG."

"Basear-se apenas no maior score não é o mais recomendado. Sendo, indicado ter um limiar para considerar uma resposta como válida ($\tau_1$), e um limiar ($\tau_2$) para envio de uma segunda opção de resposta. E neste último, ficando ao usuário avaliar qual a melhor resposta para ele."

"Para consultas com documentos conflitantes, pode-se optar para que o modelo responda baseado no documento com upload mais recente, a menos que a pergunta se refira explicitamente a datas anteriores. Usando um conjunto de documentos e consultas de teste, é possível simular e avaliar o funcionamento do modelo, tanto com consultas precisas (respondíveis) e não precisas (não respondíveis)."

"Pode-se definir uma resposta padrão para consultas não respondíveis e contabilizá-las, dado na proporção total de consultas. Caso o percentual seja elevado, pode-se considerar mudar uma investigação: se os documentos estão desatualizados, se as perguntas estão mal formuladas, ou se deve-se mudar os critérios de resposta."